情报依赖于代理商对其不知道的知识。可以根据多个输入的标签的联合预测质量来评估此能力。传统的神经网络缺乏这种能力,并且由于大多数研究都集中在边际预测上,因此这种缺点在很大程度上被忽略了。我们将认知神经网络(ENN)作为模型的界面,代表产生有用的关节预测所需的不确定性。虽然先前的不确定性建模方法(例如贝叶斯神经网络)可以表示为ENN,但这种新界面促进了联合预测和新型体系结构和算法的设计的比较。特别是,我们介绍了Epinet:一种可以补充任何常规神经网络(包括大型模型)的体系结构,并且可以通过适度的增量计算进行培训以估计不确定性。有了Epact,传统的神经网络的表现优于非常大的合奏,包括数百个或更多的颗粒,计算的数量级较低。我们在合成数据,成像网和一些强化学习任务中证明了这种功效。作为这项工作的一部分,我们开放源实验代码。
translated by 谷歌翻译